package com.tedu;

import us.codecraft.webmagic.Spider;

/**
 * 主类
 */
public class WebMagicMain {
    public static void main(String[] args) {

        //声明爬虫的主控制类
        Spider spider = Spider.create(new PageProcessoriMPL());
        //设置参数

        //url
        spider.addUrl("http://www.dangjian.com");
        //设置线程数
        spider.thread(10);
        //设置  爬虫的数据持久化
        spider.addPipeline(new PipelinesImpl());
        spider.run();

    }
}
